最優化是尋找「最佳」解的數學過程——無論是使目標函數最小化或最大化，均需在由特定規則約束的可行區域內進行。
經典方法與智能方法之比較
- 牛頓-拉夫森法：一種利用二階導數（海森矩陣）的迭代求根方法。
- 梯度下降法：一種一階方法，透過沿負梯度方向移動以逼近局部最小值。
- 演化算法（EAs）：受生物自然選擇啟發的隨機性、族群基礎的搜尋方法。
關鍵概念
必須區分決策向量（我們所調整的變數）與目標函數（成功評估指標）之間的差異。
編碼陷阱
請注意消失梯度在基於微積分的方法中，以及漢明斷崖在二進位編碼的演化算法中。單一十進位遞增（例如 7 到 8）可能需要翻轉所有位元（0111 變成 1000），形成一個『斷崖』，妨礙搜尋效率。建議使用格雷編碼來降低此問題。
Python 實作：梯度下降法
問題 1
為什麼凸最優化問題被認為比非凸問題「更容易」？
問題 2
在演化算法的語境中，『表現型』代表什麼？
案例研究：最大化三角形面積
閱讀下方情境並回答公式化問題。
考慮一個直角三角形，其斜邊長度 $c$ 固定，試求最大面積。
Q
1. 請識別決策變數與目標函數。
答案：
變數：兩條直角邊的長度，$a$ 和 $b$。
目標函數：最大化 $Area = \frac{1}{2} \cdot a \cdot b$。
變數：兩條直角邊的長度，$a$ 和 $b$。
目標函數：最大化 $Area = \frac{1}{2} \cdot a \cdot b$。
Q
2. 根據幾何特性陳述約束條件。
答案：
根據畢氏定理，約束條件為：$a^2 + b^2 = c^2$。
根據畢氏定理，約束條件為：$a^2 + b^2 = c^2$。
Q
3. 若使用牛頓-拉夫森法，必須計算哪個矩陣以考慮二階偏導數？
答案：
這個海森矩陣 ($H$)，包含目標函數的所有二階偏導數。
這個海森矩陣 ($H$)，包含目標函數的所有二階偏導數。